home *** CD-ROM | disk | FTP | other *** search
/ .net 2002 March / DotNetMagazine-Issue107-Coverdisc-NET107-02-03-PCMac.bin / pc / PC Software / picks / HTTrack / httrack-3.22-3.exe / {app} / src / htslib.h < prev    next >
Encoding:
C/C++ Source or Header  |  2002-11-17  |  12.8 KB  |  341 lines
  1. /* ------------------------------------------------------------ */
  2. /*
  3. HTTrack Website Copier, Offline Browser for Windows and Unix
  4. Copyright (C) Xavier Roche and other contributors
  5.  
  6. This program is free software; you can redistribute it and/or
  7. modify it under the terms of the GNU General Public License
  8. as published by the Free Software Foundation; either version 2
  9. of the License, or any later version.
  10.  
  11. This program is distributed in the hope that it will be useful,
  12. but WITHOUT ANY WARRANTY; without even the implied warranty of
  13. MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14. GNU General Public License for more details.
  15.  
  16. You should have received a copy of the GNU General Public License
  17. along with this program; if not, write to the Free Software
  18. Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA  02111-1307, USA.
  19.  
  20.  
  21. Important notes:
  22.  
  23. - We hereby ask people using this source NOT to use it in purpose of grabbing
  24. emails addresses, or collecting any other private information on persons.
  25. This would disgrace our work, and spoil the many hours we spent on it.
  26.  
  27.  
  28. Please visit our Website: http://www.httrack.com
  29. */
  30.  
  31.  
  32. /* ------------------------------------------------------------ */
  33. /* File: Subroutines .h                                         */
  34. /* Author: Xavier Roche                                         */
  35. /* ------------------------------------------------------------ */
  36.  
  37. // Fichier librairie .h
  38.  
  39. #ifndef HTS_DEFH
  40. #define HTS_DEFH 
  41.  
  42. /* dÈfinitions globales */
  43. #include "htsglobal.h"
  44.  
  45. /* basic net definitions */
  46. #include "htsbasenet.h"
  47.  
  48. /* cookies et auth */
  49. #include "htsbauth.h"
  50.  
  51. // Attention, dÈfinition existante Ègalement dans le shell
  52. // (‡ modifier avec celle-ci)
  53. #define POSTTOK "?>post"
  54.  
  55. #include <stdio.h>
  56.  
  57. #include "htsopt.h"
  58.  
  59. // structure pour paramËtres supplÈmentaires lors de la requÍte
  60. typedef struct {
  61.   short int user_agent_send;  // user agent (ex: httrack/1.0 [sun])
  62.   short int http11;           // l'en tÍte peut (doit) Ítre signÈ HTTP/1.1 et non HTTP/1.0
  63.   short int range_used;       // Range utilisÈ
  64.   short int nocompression;    // Pas de compression
  65.   char user_agent[128];
  66.   char lang_iso[64];
  67.   t_proxy proxy;              // proxy
  68. } htsrequest;
  69.  
  70.  
  71. // structure pour retour d'une connexion/prise d'en tÍte
  72. typedef struct {
  73.   int statuscode;        // status-code, -1=erreur, 200=OK,201=..etc (cf RFC1945)
  74.   short int notmodified; // page ou fichier NON modifiÈ (transfÈrÈ)
  75.   short int is_write;    // sortie sur disque (out) ou en mÈmoire (adr)
  76.   short int is_chunk;    // mode chunk
  77.   short int compressed;  // compressÈ?
  78.   short int empty;       // vide?
  79.   char* adr;             // adresse du bloc de mÈmoire, NULL=vide
  80.   FILE* out;             // Ècriture directe sur disque (si is_write=1)
  81.   LLint size;            // taille fichier
  82.   char msg[80];          // message Èventuel si Èchec ("\0"=non prÈcisÈ)
  83.   char contenttype[64];  // content-type ("text/html" par exemple)
  84.   char contentencoding[64];  // content-encoding ("gzip" par exemple)
  85.   char* location;        // on copie dedans Èventuellement la vÈritable 'location'
  86.   LLint totalsize;       // taille totale ‡ tÈlÈcharger (-1=inconnue)
  87.   short int is_file;     // ce n'est pas une socket mais un descripteur de fichier si 1
  88.   T_SOC soc;             // ID socket
  89.   FILE* fp;              // fichier pour file://
  90. #if HTS_USEOPENSSL
  91.   short int ssl;         // is this connection a SSL one? (https)
  92.   // BIO* ssl_soc;          // SSL structure
  93.   SSL * ssl_con;         // connection structure
  94. #endif
  95.   char lastmodified[64]; // Last-Modified
  96.   char etag[64];         // Etag
  97.   char cdispo[256];      // Content-Disposition coupÈ
  98.   LLint  crange;         // Content-Range
  99.   /* */
  100.   htsrequest req;  // paramËtres pour la requÍte
  101.   /*char digest[32+2];  // digest md5 gÈnÈrÈ par le moteur ("" si non gÈnÈrÈ)*/
  102. } htsblk;
  103.  
  104.  
  105. /* ANCIENNE STURCTURE pour cache 1.0 */
  106. typedef struct {
  107.   int statuscode;  // ANCIENNE STURCTURE - status-code, -1=erreur, 200=OK,201=..etc (cf RFC1945)
  108.   int notmodified; // ANCIENNE STURCTURE - page ou fichier NON modifiÈ (transfÈrÈ)
  109.   int is_write;    // ANCIENNE STURCTURE - sortie sur disque (out) ou en mÈmoire (adr)
  110.   char* adr;       // ANCIENNE STURCTURE - adresse du bloc de mÈmoire, NULL=vide
  111.   FILE* out;       // ANCIENNE STURCTURE - Ècriture directe sur disque (si is_write=1)
  112.   int size;        // ANCIENNE STURCTURE - taille fichier
  113.   char msg[80];    // ANCIENNE STURCTURE - message Èventuel si Èchec ("\0"=non prÈcisÈ)
  114.   char contenttype[64];  // ANCIENNE STURCTURE - content-type ("text/html" par exemple)
  115.   char* location;  // ANCIENNE STURCTURE - on copie dedans Èventuellement la vÈritable 'location'
  116.   int totalsize;   // ANCIENNE STURCTURE - taille totale ‡ tÈlÈcharger (-1=inconnue)
  117.   int is_file;     // ANCIENNE STURCTURE - ce n'est pas une socket mais un descripteur de fichier si 1
  118.   T_SOC soc;       // ANCIENNE STURCTURE - ID socket
  119.   FILE* fp;        // ANCIENNE STURCTURE - fichier pour file://
  120.   t_proxy proxy;   // ANCIENNE STURCTURE - proxy
  121.   int user_agent_send;  // ANCIENNE STURCTURE - user agent (ex: httrack/1.0 [sun])
  122.   char user_agent[64];
  123.   int http11;           // ANCIENNE STURCTURE - l'en tÍte doit Ítre signÈ HTTP/1.1 et non HTTP/1.0
  124. } OLD_htsblk;
  125. /* fin ANCIENNE STURCTURE pour cache 1.0 */
  126.  
  127. // cache pour le dns, pour Èviter de faire des gethostbyname sans arrÍt
  128. typedef struct t_dnscache {
  129.   char iadr[1024];
  130.   struct t_dnscache* n;
  131.   char host_addr[HTS_MAXADDRLEN];    // 4 octets (v4), ou 16 octets (v6)
  132.   int host_length;                   // 4 normalement - ==0  alors en cours de rÈsolution
  133.                                      // ou >16 si sockaddr
  134.                                      //                 ==-1 alors erreur (host n'Èxiste pas)
  135. } t_dnscache;
  136.  
  137.  
  138.  
  139.  
  140. /*
  141. #ifdef __cplusplus
  142. extern "C" {
  143. #endif
  144. */
  145.  
  146. // fonctions unix/winsock
  147. int hts_read(htsblk* r,char* buff,int size);
  148. //int HTS_TOTAL_RECV_CHECK(int var);
  149. LLint check_downloadable_bytes(int rate);
  150.  
  151. HTSEXT_API int hts_init(void);
  152. HTSEXT_API int hts_uninit(void);
  153.  
  154.  
  155. // fonctions principales
  156. int http_fopen(char* adr,char* fil,htsblk* retour);
  157. int http_xfopen(int mode,int treat,int waitconnect,char* xsend,char* adr,char* fil,htsblk* retour);
  158. int http_sendhead(t_cookie* cookie,int mode,char* xsend,char* adr,char* fil,char* referer_adr,char* referer_fil,htsblk* retour);
  159. htsblk httpget(char* url);
  160. //int newhttp(char* iadr,char* err=NULL);
  161. int newhttp(char* iadr,htsblk* retour,int port,int waitconnect);
  162. HTS_INLINE void deletehttp(htsblk* r);
  163. HTS_INLINE void deletesoc(T_SOC soc);
  164. HTS_INLINE void deletesoc_r(htsblk* r);
  165. htsblk http_location(char* adr,char* fil,char* loc);
  166. htsblk http_test(char* adr,char* fil,char* loc);
  167. int check_readinput(htsblk* r);
  168. void http_fread(T_SOC soc,htsblk* retour);
  169. LLint http_fread1(htsblk* r);
  170. void treathead(t_cookie* cookie,char* adr,char* fil,htsblk* retour,char* rcvd);
  171. void treatfirstline(htsblk* retour,char* rcvd);
  172. HTSEXT_API void infostatuscode(char* msg,int statuscode);
  173.  
  174. // sous-fonctions
  175. htsblk xhttpget(char* adr,char* fil);
  176. htsblk http_gethead(char* adr,char* fil);
  177. LLint http_xfread1(htsblk* r,int bufl);
  178. HTS_INLINE t_hostent* hts_gethostbyname(char* iadr, void* v_buffer);
  179. t_hostent* vxgethostbyname(char* hostname, void* v_buffer);
  180. t_hostent* _hts_ghbn(t_dnscache* cache,char* iadr,t_hostent* retour);
  181. int ftp_available(void);
  182. #if HTS_DNSCACHE
  183. int hts_dnstest(char* _iadr);
  184. t_dnscache* _hts_cache(void);
  185. int _hts_lockdns(int i);
  186. #endif
  187.  
  188. // outils divers
  189. HTS_INLINE TStamp time_local(void);
  190. HTSEXT_API HTS_INLINE TStamp mtime_local(void);
  191. void sec2str(char *s,TStamp t);
  192. HTSEXT_API void qsec2str(char *st,TStamp t);
  193. void time_gmt_rfc822(char* s);
  194. void time_local_rfc822(char* s);
  195. struct tm* convert_time_rfc822(char* s);
  196. int set_filetime(char* file,struct tm* tm_time);
  197. int set_filetime_rfc822(char* file,char* date);
  198. HTS_INLINE void time_rfc822(char* s,struct tm * A);
  199. HTS_INLINE void time_rfc822_local(char* s,struct tm * A);
  200. HTSEXT_API char* int2char(int n);
  201. HTSEXT_API char* int2bytes(LLint n);
  202. HTSEXT_API char* int2bytessec(long int n);
  203. HTSEXT_API char** int2bytes2(LLint n);
  204. HTS_INLINE int sendc(htsblk* r, char* s);
  205. void finput(int fd,char* s,int max);
  206. int binput(char* buff,char* s,int max);
  207. int linput(FILE* fp,char* s,int max);
  208. int linput_trim(FILE* fp,char* s,int max);
  209. int linput_cpp(FILE* fp,char* s,int max);
  210. void rawlinput(FILE* fp,char* s,int max);
  211. int strfield(const char* f,const char* s);
  212. #define strfield2(f,s) ( (strlen(f)!=strlen(s)) ? 0 : (strfield(f,s)) )
  213. char* strstrcase(char *s,char *o);
  214. int ident_url_absolute(char* url,char* adr,char* fil);
  215. void fil_simplifie(char* f);
  216. int is_unicode_utf8(unsigned char* buffer, unsigned int size);
  217. void map_characters(unsigned char* buffer, unsigned int size, unsigned int* map);
  218. int ishtml(char* urlfil);
  219. int ishtml_ext(char* a);
  220. int ishttperror(int err);
  221. void guess_httptype(char *s,char *fil);
  222. void get_httptype(char *s,char *fil,int flag);
  223. int get_userhttptype(int setdefs,char *s,char *ext);
  224. void give_mimext(char *s,char *st);
  225. int is_knowntype(char *fil);
  226. int is_userknowntype(char *fil);
  227. int is_dyntype(char *fil);
  228. char* get_ext(char *fil);
  229. int may_unknown(char* st);
  230. HTSEXT_API char* jump_identification(char*);
  231. HTSEXT_API char* jump_toport(char*);
  232. char* strrchr_limit(char* s, char c, char* limit);
  233. HTS_INLINE char* jump_protocol(char* source);
  234. void code64(char* a,char* b);
  235. HTSEXT_API void unescape_amp(char* s);
  236. HTSEXT_API void escape_spc_url(char* s);
  237. HTSEXT_API void escape_in_url(char* s);
  238. HTSEXT_API void escape_uri(char* s);
  239. HTSEXT_API void escape_uri_utf(char* s);
  240. HTSEXT_API void escape_check_url(char* s);
  241. HTSEXT_API char* escape_check_url_addr(char* s);
  242. HTSEXT_API void x_escape_http(char* s,int mode);
  243. int ehexh(char c);
  244. HTSEXT_API char* unescape_http(char* s);
  245. HTSEXT_API char* unescape_http_unharm(char* s, int no_high);
  246. HTSEXT_API char* antislash_unescaped(char* s);
  247. int ehex(char* s);
  248. char* concat(const char* a,const char* b);
  249. #define copychar(a) concat((a),NULL)
  250. #if HTS_DOSNAME
  251. char* fconcat(char* a,char* b);
  252. char* fconv(char* a);
  253. #else
  254. #define fconv(a) (a)
  255. #define fconcat(a,b) concat(a,b)
  256. #endif
  257. char* fslash(char* a);
  258. char* __fslash(char* a);
  259.  
  260. char* convtolower(char* a);
  261. char* concat(const char* a,const char* b);
  262. void hts_lowcase(char* s);
  263. void hts_replace(char *s,char from,char to);
  264.  
  265. /* Spaces: CR,LF,TAB,FF */
  266. #define  is_space(c)      ( ((c)==' ') || ((c)=='\"') || ((c)==10) || ((c)==13) || ((c)==9) || ((c)==12) || ((c)==11) || ((c)=='\'') )
  267. #define  is_realspace(c)  ( ((c)==' ')                || ((c)==10) || ((c)==13) || ((c)==9) || ((c)==12) || ((c)==11)                )
  268. #define  is_taborspace(c) ( ((c)==' ')                                          || ((c)==9)                             )
  269. #define  is_quote(c)      (               ((c)=='\"')                                                    || ((c)=='\'') )
  270. //HTS_INLINE int is_space(char);
  271. //HTS_INLINE int is_realspace(char);
  272.  
  273. void fprintfio(FILE* fp,char* buff,char* prefix);
  274.  
  275. #if HTS_WIN
  276. #else
  277. int sig_ignore_flag( int setflag );     // flag ignore
  278. #endif
  279.  
  280. void cut_path(char* fullpath,char* path,char* pname);
  281. int fexist(char* s);
  282. /*LLint fsize(char* s);    */
  283. int fpsize(FILE* fp);
  284. int fsize(char* s);    
  285. /* root dir */
  286. HTSEXT_API char* hts_rootdir(char* file);
  287.  
  288. // Threads
  289. #if USE_PTHREAD
  290. typedef void* ( *beginthread_type )( void * );
  291. unsigned long _beginthread( beginthread_type start_address, unsigned stack_size, void *arglist );
  292. #endif
  293.  
  294. /*
  295. #ifdef __cplusplus
  296. }
  297. #endif
  298. */
  299.  
  300.  
  301.  
  302. /* variables globales */
  303. //extern LLint HTS_TOTAL_RECV;  // flux entrant reÁu
  304. //extern int HTS_TOTAL_RECV_STATE;  // status: 0 tout va bien 1: ralentir un peu 2: ralentir 3: beaucoup
  305. extern HTSEXT_API hts_stat_struct HTS_STAT;
  306. extern int _DEBUG_HEAD;
  307. extern FILE* ioinfo;
  308.  
  309. /* constantes */
  310. extern const char hts_mime_keep[][32];
  311. extern const char hts_mime[][2][32];
  312. extern const char hts_detect[][32];
  313. extern const char hts_detectbeg[][32];
  314. extern const char hts_nodetect[][32];
  315. extern const char hts_detectURL[][32];
  316. extern const char hts_detectandleave[][32];
  317. extern const char hts_detect_js[][32];
  318.  
  319. // defaut wrappers
  320. void  __cdecl htsdefault_init(void);
  321. void  __cdecl htsdefault_uninit(void);
  322. int   __cdecl htsdefault_start(void* opt);
  323. int   __cdecl htsdefault_chopt(void* opt);
  324. int   __cdecl htsdefault_end(void);
  325. int   __cdecl htsdefault_checkhtml(char* html,int len,char* url_adresse,char* url_fichier);
  326. int   __cdecl htsdefault_loop(void* back,int back_max,int back_index,int lien_n,int lien_tot,int stat_time,hts_stat_struct* stats);
  327. char* __cdecl htsdefault_query(char* question);
  328. char* __cdecl htsdefault_query2(char* question);
  329. char* __cdecl htsdefault_query3(char* question);
  330. int   __cdecl htsdefault_check(char* adr,char* fil,int status);
  331. void  __cdecl htsdefault_pause(char* lockfile);
  332. void  __cdecl htsdefault_filesave(char*);
  333. int   __cdecl htsdefault_linkdetected(char* link);
  334. int   __cdecl htsdefault_xfrstatus(void* back);
  335. int   __cdecl htsdefault_savename(char* adr_complete,char* fil_complete,char* referer_adr,char* referer_fil,char* save);
  336. // end defaut wrappers
  337.  
  338. #endif
  339.  
  340.  
  341.